package com.doitedu.core

import org.apache.spark.{SparkConf, SparkContext}

/**
 * @Date: 22.6.29 
 * @Author: HANGGE
 * @qq: 598196583
 * @Tips: 学大数据 ,到多易教育
 * @Description:
 * 本地集合 :
 *    默认的分区数是当前可以用的所有的核数
 *    可以在创建RDD的时候指定参数2  (分区数)
 *
 */
object C08RDD_Collections_Partitions_Number {

  def main(args: Array[String]): Unit = {

    val conf = new SparkConf().setAppName("RDD的分区数").setMaster("local[*]")
    conf.set("spark.default.parallelism" , "6") ;
    val sc = new SparkContext(conf)

    // 本地集合转换成RDD
    val  ls = List[Int](1,2,3,4,5,6)
    val rdd = sc.makeRDD(ls , 3)
    //获取当前RDD的分区数
    val numPartitions = rdd.getNumPartitions
    println(numPartitions)
    sc.stop










  }

}
